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Анотація. Одним із способів опису об'єктів на зображеннях є виявлення деяких їх характерних точок 
або точок уваги. Області околиць точок уваги описуються дескрипторами (множиною ознак) таким чином, щоб 
їх можна було ідентифікувати та порівняти. За цими ознаками здійснюється пошук тотожних точок на інших 
зображеннях. 

У статті досліджено і встановлено можливість пошуку довільних локальних областей зображень за 
дескрипторами, побудованими з використанням інваріантних моментів. Особливістю пропонованого методу є 
те, що обчислення інваріантних моментів локальних областей здійснюється із застосуванням інтегрального 
представлення геометричних моментів зображення. 

Інтегральне представлення - це матриця такого ж розміру, як і зображення. Елементами матриці є суми 
геометричних моментів окремих пікселів, які знаходяться вище й ліворуч відносно координат цього елемента. 
Кількість матриць залежить від порядку геометричних моментів. Для моментів до другого порядку (включно) 
таких матриць буде шість. Розрахунок одного з шести геометричних моментів довільної прямокутної області 
зображення зводиться до трьох операцій типу сумування або віднімання елементів відповідної матриці, 
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розташованих у кутах цієї області. На базі шістьох геометричних моментів розраховуються інваріантні 


моменти. 


Пошук здійснюється скануванням координатної сітки зображення вікном заданого розміру. При цьому 
обчислюються інваріантні моменти Й додаткові параметри та порівнюються з аналогічними параметрами 
околиць еталонної точки різного розміру (для врахування можливої зміни масштабу зображення). За заданою 


умовою обирається кращий варіант. 


Практично всі масові операції процедур розрахунку параметрів еталонів і пошуку тотожних точок 
дозволяють в явному вигляді проводити паралельні обчислення в режимі 5ІМР. 

У підсумку, інтегральне представлення геометричних моментів та можливість застосування паралельних 
обчислень на всіх етапах значно прискорять розрахунки й дозволять отримати добрі показники щодо 


ефективності пошуку тотожних точок та швидкості роботи. 


Ключові слова: комп'ютерний зір, зображення, характерні точки, тотожні області, інваріантні моменти. 


Вступ 

У більшості систем комп'ютерного 
зору активно використовується процес 
виділення об'єкта уваги або деяких його 
характеристик | для | подальших етапів 
оброблення самого зображення або його 
частин. На даний час розробка нових 
методів та алгоритмів для розв'язання 
задач розпізнавання об'єктів, стеження за 
ними, визначення їх орієнтації в просторі 
із залученням - апарату  стереозору є 
актуальним напрямком досліджень, про 
що свідчать чисельні наукові публікації. 

Одним із способів опису об'єктів 
зображень є виявлення деяких їх 
характерних точок або точок уваги. За 
рахунок ось таких точок і виконується 
зіставлення об'єктів, а для пошуку 1 
виявлення точок уваги застосовуються 
детектори. Якщо зображення може бути 
представлене набором таких точок уваги, 
то, звісно, можна суттєво знизити як 
надлишковість інформації, необхідної для 
обробки, так 1 час пошуку зображень. 

Щоб локалізувати точки уваги у 
зображенні, потрібно аналізувати локальне 
сусідство пікселів, даючи всім локальним 
ознакам деяку просторову протяжність. 


Часто це сусідство береться рівним 
оточенню, яке використовується для 
визначення ознак. У цьому випадку 
замість «точки уваги» використовується 
термін «область». Проте, треба бути 
уважним, оскільки, коли локальне 
сусідство пікселя 0 застосовується для 


локалізації точки уваги, процес виділення 
ознаки повинен визначати не тільки 
положення точки уваги, а й розмір та 
можливу форму локального сусідства. 
Особливо | у процесі геометричних 
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деформацій це суттєво ускладнює процес 
через те, що розмір і форма мають бути 
визначені інваріантним шляхом. 

Області околиць точок уваги 
описуються дескрипторами таким чином, 
щоб їх можна було ідентифікувати та 
порівняти. | У | результаті | побудови 
дескрипторів формується множина 
векторів ознак для вихідного набору 
характерних точок одного із зображень. За 
цими ознаками здійснюється | пошук 
тотожних точок на інших зображеннях. 

ЗІЕТ (Зсаіе ПШуагіапі Беаште 
Тгап5їогта) |1| - один з найбільш відомих 
дескрипторів, який одночасно є 
детектором. В основу покладено ідею 
обчислення гістограми орієнтованих 
градієнтів в околиці особливої точки. 
Дескриптор РСА-5ІЕТ |2| по суті є 
модифікацією 5ІЕТ 1 будується за тією ж 
схемою, тільки для кожної особливої 
точки розглядається околиця більшого 
розміру. Для результуючого набору 
дескрипторів | здійснюється | зниження 
розмірності векторів за допомогою аналізу 
головних компонентів (Ргіпстраї 
Сотропепі Апаїузіз, РСА). 

Дескриптор 5ОВЕ (5рееава пр Коби5і 
ВБеашге58) (|3| також належить до тих 
дескрипторів, які одночасно виконують 
пошук особливих точок і створюють їх 
опис, інваріантний до зміни масштабу й 
перетворення типу «поворот». Крім того, 
сам | пошук ключових точок має 
інваріантність у тому розумінні, що 
повернений об'єкт сцени має той самий 
набір особливих точок, що і зразок. 

Дескриптор СТОН (Стайіепі 
Госайоп-Огіепіайоп Ніз5осгат) (|4|, який 
побудований з метою підвищення 
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надійності, є модифікацією З1й- 
дескриптора. По факту обчислюється 5ій- 
дескриптор, але використовується полярна 
сітка розбивки околиці. 

При розробці дескриптора ДАІЗУ |5| 
були використані ідеї побудови ЗІРТ- і 
СПТор-дескрипторів. Аналогічно СПОН, 
вибирається кругова околиця особливої 
точки, при цьому окремі блоки 
представляються не частковими 
секторами, а колами. 

Ціль створення дескриптора ВЕКІЕЕ 


(Віпагу  Кобизі  ідерепдепі  Еіетепіагу 
РБеашге5) |6) полягала в тому, щоб 
забезпечити | розпізнавання | однакових 


ділянок зображення, які були отримані з 
різних кутів огляду. При цьому ставилося 
завдання зменшити кількість виконуваних 
обчислень. Алгоритм | розпізнавання 
зводиться до побудови випадкового лісу 
(гапдоті7е сіазвійсацйоп ігее5) або наївного 
байєсівського класифікатора на деякій 
тренувальній | множині зображень і 
наступної класифікації ділянок тестових 
зображень. Невелика кількість операцій 
забезпечується представленням вектора 


ознак у вигляді бінарного рядка 1 
використанням відстані Хеммінга як 
засобу подібності. Більш ефективною 


альтернативою дескрипторам ВЕКІНЕ і 5ІЕТ 
є бінарний дескриптор ОБВ |7). 

Привертають увагу роботи, в яких 
розглядаються питання порівняння якості 
й швидкості роботи різних дескрипторів 
181. 

Мета цієї роботи  - дослідити 
можливості пошуку довільних локальних 


областей зображень із застосуванням 
дескрипторів, побудованих З 
використанням інваріантних моментів, 


або, як іноді їх ще називають, моментних 
інваріантів. Особливістю запропонованого 
у цій статті рішення є те, що обчислення 
інваріантних моментів локальних областей 
здійснюється із застосуванням інтеграль- 
ного представлення геометричних 
моментів зображення, аналогічно 
інтегральному представленню зображення, 
для швидкого обчислення суми 
яскравостей пікселів його прямокутних 
областей, як це пропонується в методі 
Віоли-Джонса |9). Завдяки цій особливості 
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очікується, що будуть отримані добрі 
показники ефективності | пошуку та 
швидкості | роботи при скануванні 
зображень. 
Алгоритм пошуку тотожних 
областей з використанням 


інваріантних моментів 

Для досліджень було взято два 
окремих  кадра із  відеопослідовності 
розміром 640х360 пікселів, отриманих в 
умовах зміщення об'єктів зображення і 
ракурсу відеозйомки. На першому кадрі 
обирались довільні точки, а на другому 
здійснювався їх пошук та відображався 


результат. У ході дослідження було 
згенеровано евристичний алгоритм з 
конкретними характеристиками і 
параметрами, що природно допускає 


подальше вдосконалення. 

Етапи пропонованого алгоритму для 
однієї точки. 

Етап І 

Перед проведенням наступних 
процедур кольорові зображення кадрів 
перетворюються в сірі (напівтонові) 1 
згладжуються фільтром Гауса. 

Етап 2 

На першому кадрі задається точка та 
обчислюються характеристики її околиць з 
розміром (2:у" 5іге-1)-(2-:уу 5ілеч 1) 
пікселів, де у" зіге змінюється від 7 до 15. 
За центральне вибрано вікно, для якого 
у» 5іле- 10, тобто вікно з розміром 21х21 
піксель, що відповідає зміні масштабу у 
півтора раза при зменшенні або збільшенні 
уу 5ісе. 

Для кожної з околиць, прийнятої за 
еталон, розраховуються інваріантні щодо 
зсуву зміни масштабу і повороту моменти 
10, 11) 0 еі, ДП ет, 5 еї та середня 
яскравість пікселів околиці заданої точки 
поег та її чотирьох фрагментів (рис. 1) 
Поо еї, | Пог еї, | Піо еї, | Пір ет розміром 
(у. зісе--Т)-(м/ 5ісе- 1). 
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Рис. 1. Околиця заданої точки, поділена на 
фрагменти 


Спочатку обчислюють геометричні 
моменти околиць з центром координат в 
лівому верхньому куті зображення. 
ВИ хау 5ісе учум 5ісе 1 


МУ 


іїзх-у 5іге |-у-ум 5іге Рі, 
І - (0... К), де: 

к - порядок геометричних моментів; 

х, у - координати заданої точки; 

М цк - геометричні моменти К-го 
поряду, відповідно далі М0, М?!, МФ, М?2, 
Мі М'! дя К-2; 

рії | - яскравість 
координатами ї, ). 

Потім здійснюють перетворення, які 
відповідають нормалізації відносно зсуву, 
зміни масштабу і повороту. 

Перетворення моментів щодо зсуву 
визначаються так: 


пікселя З 


ом, 

щу - МОЇ -ду- мо 
- м10 10 

щої МО -дхмій, 


щор з М'2 -2-ду-мОЇ у ду? м), 
по о М20 -2.Ах МО дух? м, 
мус МІ -ду-м'9 дм з дхду- м), 


де Дх, Ду - відстані від лівого верхнього 
кута зображення до заданої точки (х, у), 
яка береться за центр координат. 
Нормалізація щодо масштабу: 
поро - 
, ці 241 
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Інваріантні моменти Ни для області 
зображення нормовані щодо зсуву, зміни 
масштабу і повороту: 


12.2 
Іо п бі то» 


ЛЯт ЛО» 
1» З ру Пор)" АТ 
Тут /о - інваріантний момент за 


умови, що (хХ, у) не є центром ваги області. 

Середня яскравість пікселів околиць і 
її фрагментів обчислюється як МФ околиці 
або її фрагментів, поділена відповідно на 
кількість пікселів у | цих областях, 
наприклад околиці 


В ери МО (2 у зіге 12 ук віге-н1) 
або фрагмента з індексом 00 (див. рис. 1) 
йо ві - мі) ет 5ісе--1)-(и  5іте --Т)). 


Етап 3 

Для другого кадра обчислюється 
інтегральне представлення для кожного із 
моментів К-го порядку 
мік М 5 У рої І « (0... К), де: 

і 20 

ха(у» зіге,..., ітаєє улаїй - уу 5іге -1); 
уж(у» зіге,..., ітаєе Пеїієйі - уу 5іге -1). 

Інтегральне представлення  - це 
матриця такого ж розміру, як і розмір 
зображення. Для К-2 таких представлень 
буде 6, позначимо їх ЕМ, ЕМо!, ЕМ'?, 


ЕМ'?, ЕМ? ЕМ", т - елементи 


матриці, які дорівнюють сумі 
геометричних моментів окремих пікселів 
зображення, розташованих лівіше і вище 
координати (х, у) з центром координат (0, 
0) у лівому верхньому куті. 

Інтегральне зображення послідовно 
сканується центральним вікном (и/ 5іге з 
10). Потім для кожної точки обчислюються 
характеристики області, замкненої цим 
вікном. Наприклад, для області, 


зображеної на рис. І, м? з координатами 


центру (Х, у) дорівнює 
00 00 
Му Мудрур іге,учиї 8іге 
ху» 5ісе,у-ум 5іге-Ї 
х-ур 5ісе-Ї,у-ум 5іге 


ЕМО | | 
х-ум 5ісе-І,у-ум 5іге- І. 
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Аналогічним чином обчислюються 
геометричні моменти інших порядків, а 
також, як на другому етапі, всі інваріантні 
характеристики області - /о об, / об, 
Б ор,Пп об, Пор ор, Пог об, Но Ор, Пі об. 

Розраховуються відносні похибки 
характеристик аепа, наприклад для /б: 
депа Їо- І - тіп(/о еї, Іо об)/ тах(Їд еї, 
До об)), а також інтегральна квадратична 
похибка - аена з аспа руч асна різ 
депа | р, та здійснюється перевірка за 
умовою: 

7 ( депахтіп аеПпа 

фа о депа рх0.05 

фе депа пх0.01 

фе депа п 00х0.05 

фі аепа п 010.05 

ффаспа п 100.05 

фе депа Пп 110.05 ). 

Якщо умови 
зберігаються такі параметри: 

тіп аспазасПа; 

гезий Хех; 

гезий ужу; 

тезий у» 5ісет у/ 5іге. 

Після сканування всього зображення 
і порівняння з характеристиками еталонів 
для всіх у» 5іге-7,...15, отримуємо 
координати тотожної точки на другому 
кадрі, яка відповідає заданій точці на 
першому кадрі (гезий х, гезий у), а також 
результуючий розмір вікна (гезий у» 5іге), 
який свідчить про зміну масштабу. 


виконуються, 


Результати моделювання 

У середньому при завданні різних 
точок на кадрі І правильно було знайдено 
на кадрі 2 приблизно 7595 тотожних їм 
точок. 

На рис. 2 (експеримент Ме |) 
показано тільки 10 точок. 

Неправильно знайдено точку 3 та 
зовсім не знайдено (тобто умова не була 
виконана жодного разу) точку 6. Околиця 
навколо точки 6 на кадрі І включає об'єкт 
1 фон, на кадрі 2 - також об'єкт 1 фон, але 
за рахунок зсуву фон змінився. Тому точка 
6 не ідентифікована. Візуально видно, що 
точки (не враховуючи 3 1 6) достатньо 
точно знайдені, крім точки 8. Але в її 
околиці | дещо змінилась конфігурація 
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хмар. Числові дані з координатами точок 
на кадрах 1 12 наведено в табл. І. 


жо кАрАї - а х 


Рис. 2. Результат експерименту Хо 1 


Таблиця 1. Координати точок для кадрів 112 


Хо Кадр 1 Кадр 2 
точки Х у Х у 
1 36 198 35 200 
2 123 141 123 142 
3 193 299 264 280 
4 241 120 235 117 
5 294 265 288 266 
6 305 143 - о 
7 323 196 317 197 
8 465 19 466 19 
9 547 73 540 75 
10 594 174 586 175 
При зміні умови пошуку 


(експеримент Хо 2) 

І ( аепа рхтіп деПа 

Фффоаспа Тох0.3 

фа аспа рх0.3 

фе аспа ПХ0.0Ї 

фе аепа п 000.05 

фе депа Пп 010.05 

фо депа п І10х0.05 

кб аепа п 11х0.05 ), 
виходячи з того, що 7 є найбільш 
стабільним параметром, та збереженні в 
разі виконання умови тіп аепа- 4епа (Ї! 
результат дещо змінився. Точка 6, як і 
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раніше, не була знайдена, але точку 3 
знайдено в потрібному місці (рис. 3). 


Я карт - пох 


Рис. 3. Результат експерименту Мо 2 


На шрис. 4 показано результат 
третього експерименту. У цьому 
експерименті Йод еї, По еї, Піо еї, Пі еї 


та  Йоо Об, Йог об, Йо об, й об 
розраховувались | як - відношення сум 
яскравостей пікселів МО відповідних 
фрагментів і області в цілому. Ці 


параметри інваріантні до зміни масштабу, 
а також яскравості зображення. За цими 
параметрами  обчислювались відповідні 
деПа. Перевірка здійснювалась за умовою 
експерименту Хо 2, але з виключенням 
перевірки аепа ПХ0.0. 

У результаті знайдено всі точки. Але 
точки 1 1 7 знайдені неправильно, точка 3 
незначно зсунута вверх. 


З результатів експериментів 
випливає, що потрібно більш ретельне 
дослідження умов пошуку та вибору 
порогів для перевірки параметрів. Можна 
також розширити набір параметрів, 
розраховуючи і перевіряючи інваріантні 
моменти | для | фрагментів області. 
Інтегральне представлення геометричних 
моментів для цього вже сформовано. 
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я КАвІ - о х 


Рис. 4. Результат експерименту Хо 3 


Можливість прискорення пошуку 
тотожних точок за рахунок паралельних 
обчислень 

Практично всі масові 0 операції 
процедур розрахунку параметрів еталонів і 
пошуку тотожних точок, включаючи 
формування інтегральних представлень 
геометричних моментів 1 розрахунок з їх 
використанням інваріантних моментів, 
дозволяють в явному вигляді проводити 
паралельні обчислення в режимі 5ІМР 
(архітектура 58іпеїе іп5ігисйоп плиінріе даїа). 
Найбільш відомими процесорними ядрами, 
що підтримують 5ІМОД-розширення, є ядра 
компаній іс! і АКМ Ідпіга (назва 
однойменна з назвою архітектури - Адуапіей 
БІ5С  Масрбіпе). Необхідні для цього 
векторні операції в цих процесорах є, це - 
всі арифметичні і логічні операції, операції 
зчитування і збереження даних, операції 
дублювання шюдиночних даних у всіх 
позиціях вектора, операції підсумовування 


всіх елементів вектора, операції 
порівняння векторів, результатом яких є 
вектори масок, операції визначення 


номерів позицій перших або останніх у 
векторі одиниць чи нулів, операції 
формування з р двох векторів вектора 
мінімальних або максимальних значень, 
інші операції. Потрібно лише 
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структурувати дані в запам'ятовувальному 
пристрої у вигляді векторів з можливістю 
паралельного доступу до них. 


Висновки 

Запропонований метод пошуку, на 
наш погляд, заслуговує уваги, незважаючи 
на скромні показники результативності 
пошуку тотожних областей і відсутність 
належної статистики. Видається доцільним 
продовжити | дослідження | у цьому 
напрямку. 

У результаті проведених досліджень 
встановлено такі позитивні якості методу: 

е інваріантність параметрів околиць 
точок щодо зсуву, зміни масштабу і в 
незначній мірі від повороту; 

е метод дозволяє виявляти точки як 
на межах об'єктів (де наявні контури), так і 
на текстурах типу трава чи листя дерев; 

е якщо на першому кадрі задано 
значну кількість точок, доцільним для 
розрахунку їх еталонних параметрів також 
буде формування із зображення і 
використання інтегральних представлень 
геометричних моментів; 

е інтегральне представлення 
геометричних моментів та можливість 
застосування паралельних обчислень на 
всіх етапах значно прискорять розрахунки 
і дозволять здійснювати пошук тотожних 
точок у зображеннях в реальному часі; 

е детектування характерних точок 


на обох кадрах, наприклад З 
використанням функцій бібліотеки 
ОрепСу, зведе - задачу дї до | виявлення 


взаємної відповідності точок на кадрах без 
сканування всього зображення на кадрі 2, 
що також значно прискорить обчислення. 
Наступним кроком досліджень буде 
підвищення ефективності пропонованого 
методу та удосконалення щодо його 


незалежності від довільного | повороту 
зображень. 
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